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摘要 : [目的 /意义 ] 针 对 当前 未 发 表 学 术 论 文 质 量 的 自动 评审 尚未 形成 统一 的 指标 体系 的 问题 ,探索 并 建 
立 一 套 具 有 引导 性 、 科 学 性 、 客 观 性 的 论文 质量 自动 评审 指标 体系 ,以 提高 评审 效率 。[ 方 法 /过 程 ] 在 知识 生产 
视角 下 ,结合 科学 知识 生产 要 素 , 分 别 从 论文 作者 、 参 考 文 献 . 资 金 项 目 支持 、 选 题 \ 创 新 性 、 科 学 性 、 表 达 形 式 7 
个 方面 ,构建 论文 质量 自动 评审 指标 体系 ,对 其 量化 方法 和 技术 进行 简要 说 明 , 并 运用 主 成 分 分 析 方 法 确定 各 
项 自动 评审 指标 项 权重 及 排序 。[ 结果 /结论 ] 数据 结果 表明 ,论文 科学 性 、 创 新 性 权重 值 均 较 高 ,论文 表达 形式 
中 的 摘要 可 读 性 、 长 度 和 参考 文献 所 在 期 刊 质 量 、 新 度 同样 是 重要 的 自动 评审 因素 ,该 结果 能 够 为 后 续 自动 评 
机理 标的 量化 处 理 提供 借鉴 。 
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外 部 指标 ,而 且 无 论 是 定性 评价 还 是 定量 评价 方法 , 普 
通 评价 方法 都 是 依据 个 人 主观 评价 和 面向 已 发 表 论文 
对 于 学 术 期 刊 ,尤其 是 核心 学 术 期 刊 来 说 ,编辑 部 。 的 评价 。 因 此 ,区 别 于 论文 的 定量 评价 ,本 文中 论文 质 


全 中 部 会 收 到 大 量 论文 投稿 ,其 工作 量 可 想 而 知 。 通 。 量 自动 评审 的 对 象 为 投稿 中 且 未 发 表 的 论文 , 即 没有 


常委 一 篇 学 术 论文 稿件 都 会 经 过 产 格 的 评审 过 程 ,其 。 任何 外 部 指标 , 仅 根据 学 术 论文 中 所 涵盖 的 内 部 知识 


站 任 编辑 初审 \ 同 行 专家 复审 \ 主 编 终审 的 第 选 过 程 。 单元 结构 和 内 容 , 对 其 进行 综合 评价 ;区 别 于 专家 的 人 


更 器 会 耗 党 大 量 人 力 物力 和 时 间 。 最 重要 的 是 ,其 中 工 定性 评价 ,论文 质量 的 自动 评审 需要 运用 知识 挖掘、 


TI 女 、 
涉及 的 人 为 干扰 因素 有 很 多 ,比如 评价 标准 的 主观 性 、 ”主题 分 析 等 技术 辅助 得 以 自动 实现 。 
专业 认 知 的 局 限 性 等 。 稿 源 是 学 术 期 刊 的 核心 ,也 是 关于 未 发 表 学 术 论 文 质量 的 自动 评审 尚未 形成 统 
期 刊 的 重要 资源 ，。 高 质量 的 稿 源 带动 期 刊 的 发 展 、 ”一 的 指标 体系 ,因此 ,本 文 拟 通 过 知识 生产 视角 ,结合 
高 质量 期 刊 吸引 优质 的 稿 源 ,这 样 才能 逐渐 形成 良性 。 知识 生产 要 素 构 建 学 术 论 文 质 量 自动 评审 指标 体系 ， 
循环 。 并 运用 SPSS 和 Excel 软件 ,以 主 成 分 分 析 方法 确定 多 
目前 ,对 学 术 论文 的 普通 评价 方法 主要 分 为 定性 ”指标 项 权重 。 本 文 将 探索 并 建立 一 套 具 有 引导 性 、 科 


评价 与 定量 评价 。 定 性 评价 包括 同行 评议 , 即 指 专 家 ”学 性 ,客观 性 的 论文 质量 自动 评审 指标 体系 ,从 而 为 后 

根据 自身 经 验 与 知识 进行 主观 评判; 定量 评价 包括 引线 自 动 评审 指标 的 量化 处 理 提供 参考 和 基础 。 

文 分 析 评 价 , 指 根 据 论文 发 表 后 的 引用 次 数 评价 其 学 ER 
:影响 力 ,另外 ,也 有 学 者 基于 社交 媒体 评价 的 葵 代 计 。 车 生 和 e125/ Ja EN 


量 学 方法 ,PageRank 改进 方法 “| 等 定量 评价 方法 对 2.1 相关 理论 一 一 知识 生产 (knowledge production ) 
论文 进行 评价 。 现 实情 况 下 ,编辑 部 收 到 的 学 术 论 文 ”2.1.1 知识 生产 内 涵 ”1996 年 ,国际 经 济 发 展 与 合作 
投稿 均 是 未 发 表 的 论文 ,缺少 引用 量 .期 刊 影响 因子 等 组 织 (OECD ) 发 表 了 《以 知识 为 基础 的 经 济 》 报 告 , 认 
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为 知识 生产 就 是 开发 与 提供 新 知识 ,是 探索 性 和 创造 
性 的 智力 活动 。 知 识 生产 并 没有 统一 的 定义 ,但 是 都 
体现 出 了 其 利用 知识 创造 新 知识 的 “知识 再 生产 " 观 
点 , 即 知识 生产 是 人 们 通过 脑力 劳动 创造 出 新 知识 的 
过 程 ,是 在 已 有 知识 的 基础 上 发 现 新 知识 的 过 程 "。 
知识 生产 的 实质 就 是 知识 创新 ,就 是 指 科学 发 现 和 技 
术 发 明 , 这 两 类 发 现 和 发 明 可 通过 不 同 的 成 果 形式 存 
在 ,包括 科学 论文 .著作 ,报告 .图 纸 、 电 脑 程序 等 ”1。 
基于 宏观 经 济 的 角度 , 何 传 启 等 ”认为 知识 生产 是 一 
种 生产 活动 ,并 指出 知识 生产 是 从 事 研发 活动 的 科学 
家 工程师, 博士 研究 生 及 助手 等 人 员 所 进行 的 知识 创 
新 。 

通常 ,知识 生产 可 以 划分 为 3 种 类 型 , 即 原创 性 知 
识 生产 ,复制 性 知识 生产 ,定制 性 知识 生产 。 科 学 知识 
生产 主要 是 原创 性 的 知识 生产 ,学 术 论文 的 产 出 即 是 
科 序 知识 生产 过 程 下 的 成 果 。 科 学 知识 生产 首先 要 从 
选 驻 开始 ,然后 进行 信息 收集 和 研究 工作 。 选 题 , 信 息 
性 能 和 信息 分 析 过 程 是 认识 不 断 深化 和 逐步 提高 的 过 
种; 分 析 研 究 是 知识 生产 过 程 中 非常 重要 的 环节 ,如 定 
公 析 ,定性 分 析 ;撰写 论文 是 知识 生产 的 主要 工序 ， 


是 最 重要 的 环节 ,完成 此 环节 后 ,知识 生产 过 程 结 
芒 形 成 完整 的 知识 产品 ”, 如 图 1 所 示 ; 


日 选 题 | 制定 研究 计划 -| 收集 资料 “| 分 析 研 究 Fe 撰写 研究 论文 


图 1 科学 知识 生产 一 般 步 又" 


2. 他。 知识 生产 要 素 ”知识 生产 包括 两 个 途径 , 即 组 
合租 交换 。 将 获取 的 原料 .资源 等 生产 要 素 进行 重新 
组 加 以 产生 新 的 生产 方式 ,而 当 有 限 的 资源 被 不 同 的 
行为 主体 拥有 的 时 候 ,资源 的 相互 交换 就 成 了 资源 组 
合 的 先决 条 件 ”"。 通 过 知识 生产 的 途径 可 知 ,知识 4 
产 需要 一 定 的 知识 资源 基础 ,同时 需要 具有 一 定 信息 
素养 能 力 的 知识 工作 主体 来 完成 。 焦 桐 等 在 研究 中 指 
出 ,实现 知识 生产 需要 具备 4 个 要 素 , 即 直接 或 间接 需 
要 的 有 关 知 识 作为 主体 的 智力 劳动 者 ,生产 知识 的 工 
具 、 相 应 的 组 织 和 管理 所。 可 以 说 ,科学 知识 生产 就 是 
科研 主体 在 科研 资源 条 件 的 支持 下 ,通过 一 定 的 生产 
关系 ,作用 于 科研 知识 基础 ,创造 出 科研 成 果 "。 

李 正 风 在 其 研究 中 指出 ,科学 知识 生产 所 需要 的 、 
可 支配 .可 利用 的 要 素 总 和 即 是 资源 豪 赋 , 表 征 着 科学 
知识 生产 方式 的 基础 与 条 件 "”"”。 其 中 与 学 术 论 文 知 
识 生产 相关 的 资源 包括 人 力 资源 .财力 资源 .物力 次 
源 、 信 息 资源 。 根 据 文献 !" 的 解释 说 明 ,人 力 资源 是 
指 从 事 科学 知识 生产 的 人 员 的 数量 与 质量 ,包括 是 否 
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具有 高 水 平 科学 家 、 高 层级 学 术 职 衔 等 ;财力 资源 是 指 
可 用 于 科学 知识 生产 的 资金 ;物力 资源 是 指 支 撑 科 学 
知识 生产 活动 的 科学 设备 .基础 设施 和 相关 条 件 平台 ; 
言 息 资源 是 指 人 类 科技 活动 所 产生 的 基本 科学 技术 数 
据 资料 ,以 及 面向 不 同 需求 加 工整 理 形成 的 各 种 科学 
数据 产品 和 各 种 载体 的 科学 知识 产品 ,通常 包含 在 科 
学 图 书 期刊. 报告 论文 .档案 等 科学 文献 中 。 
2.2 ”学术 论文 质量 自动 评审 指标 筛选 与 确定 

一 篇 学 术 论 文 从 选 题 构思 开始 ,直至 撰写 完毕 ,就 
是 一 个 科学 知识 生产 的 标准 过 程 。 同 样 ,知识 生产 过 
程 中 涉及 的 生产 要 素 同样 适用 于 学 术 论 文 的 完成 。 为 
了 尽 可 能 地 全 面 考 量 学 术 论 文 质量 评价 指标 ,本 文 基 
于 知识 生产 视角 ,结合 学 术 论 文 内 部 知识 单元 结构 及 
内 容 ,总 结 知识 生产 要 素 ,构建 学 术 论 文 质量 自动 评审 
指标 体系 , 即 包括 科 研 主体 及 其 生产 关系 、 科 研 知识 基 
础 .科研 资源 条 件 和 科研 成 果 本 身 4 个 方面 ”。 
2.2.1 科研 主体 及 其 生产 关系 ”学 术 论 文 的 撰写 也 
是 论文 创建 的 过 程 , 它 的 质量 取决 于 撰写 者 (作者 ) 的 
水 平和 努力 程度 。 这 个 过 程 受到 个 人 能 力 、 知 识 水 平 
和 努力 程度 等 因素 的 影响 ” 。 因 此 ,在 对 一 篇 学 术 论 
文 质量 进行 评价 时 ,应 该 对 其 科研 主体 及 其 生产 关系 ， 
即 作 者 进行 分 析 。 

蓝 华 等 "提出 影响 科技 期 刊 质量 的 4 个 因素 ,其 
中 就 包含 对 稿 源 质量 的 评价 ,并 从 作者 评价 这 一 角度 ， 
对 作者 学 术 素 养 . 作 者 机 构 分 布 进行 了 评价 。 其 中 作 
者 学 术 素 养 包 括 对 其 职称 学 历 的 参考 ,如 作者 中 高 级 
职称 的 比例 、 博 士 的 比例 、 博 士 研究 生 的 比例 等 ;作者 
机 构 分 布 包括 对 其 来 源 单 位 的 参考 ,如 “985”“211” 高 
校 比例 .其 他 科研 机 构 比 例 等 。 同 时 ,作者 声誉 科研 
能 力也 应 是 评价 中 的 重要 参考 ,虽然 单 篇 学 术 论 文稿 
件 没有 引用 量 , 但 可 以 对 其 作者 历史 发 文 数量 以 及 历 
中 发文 引文 量 进行 分 析 ” ,另外 也 可 以 根据 本 也 
Hirsch 提出 的 指数 对 科研 人 员 的 学 术 产 出 进行 评 
价 … 

现 如 今 科研 论文 的 多 作者 合作 变 得 非常 普遍 ,在 
以 被 引 次 数 高 低 等 价 于 学 术 论 文 影响 力 高 低 的 基础 
下 中 ,F. Didegah “在 研究 中 指出 ,与 单一 作者 相 比 ， 
多 作者 合作 的 文章 会 得 到 更 多 的 引用 量 ,并 利用 相关 
和 回归 测试 说 明 作者 数量 以 及 不 同 机 构 研 究 人 员 的 机 
构 合作 均 与 较 高 的 引用 相关 。R.， Sooryamoorthy" 也 
认为 ,国际 合作 会 导致 论文 引用 次 数 的 增加 。 林 德 明 
等 "根据 对 科技 论文 评价 体系 的 研究 ,提出 一 种 对 作 
者 合作 规模 的 测度 公式 , 即 作 者 合作 规模 = 合作 和 学科 


祝 琳 琳 ， 杜 查 叶 ， 李 锅 . 
86. 


知识 生产 视角 下 学 术 论文 质量 自动 评审 指标 体系 构建 研究 [可 ]. 


数 x 地 区 数 x 作者 数 /学 科 和 平均 作者 数 。 
因此 ,结合 知识 生产 下 的 科研 主体 及 其 生产 关系 


2.2.3 ”科研 资源 条 件 ”学 术 论 文 是 否 由 资金 项 目 资 
能 够 在 一 定 程度 上 体现 出 该 科研 项 目 论文 成 果 的 质 


这 一 要 素 ,本 文 将 该 要 素 下 论文 质量 自动 评审 的 指标 划 
分 为 作者 学 术 素养 .作者 科研 能 力作 者 声誉 .作者 数 
量 \ 作 者 来 源 机 构 \ 作 者 跨国 家 /地 区 合作 \ 作 者 跨 学 科 
合作 。 为 了 实现 论文 质量 自动 评审 ,需要 对 各 项 指标 进 
行 量化 处 理 , 详 细 指 标 及 参考 量化 方法 如 表 1 所 示 : 

表 1 科研 主体 及 其 生产 关系 要 素 下 论文 
质量 自动 评审 指标 及 量化 方法 
论文 质量 自动 评审 指标 


时 


辅助 实现 指标 量化 的 方式 /技术 方法 参考 


作者 学 术 素养 作者 中 各 职称 .各 学 历 的 比例 
作者 科研 能 力 作者 日 指数 .历史 发 文 数 . 历 史 发 文 引文 数 
作者 声誉 作者 专家 称号 ,按照 专家 称号 级 别 划分 赋值 
四 作者 数量 作者 总 人 数 
= 作者 来 源 机 构 作者 来 源 单位 数量 
作者 中 国家 /地 区 合作 作者 所 在 国家 /地 区 数量 
L( 信 者 中 学 科 合作 作者 中 所 涵盖 的 学 科 数 量 


科研 知识 基础 ”参考 文献 是 学 术 论 文中 的 重 
组 成 部 分 ,并 在 一 定 程度 上 影响 论文 的 质量 。 在 知 
BB 产 视角 下 ,参考 文献 作为 生产 要 素 中 的 信息 资源 ， 
其 数量 与 质量 更 是 反映 了 论文 作者 对 于 过 去 相关 研究 
的 详解 程度 与 吸收 程度 。 因 此 ,应 对 论文 的 科研 知识 
基 齐 , 即 参考 文献 进行 分 析 。 
司 内 外 研究 学 者 研究 认为 ,参考 文献 数量 与 被 引 
同 卫 有 相关 性 cm， 同时 研究 表明 ,论文 质量 除了 与 
本 名 质量 相关 联 外 ,引用 了 高 影响 力 参考 文献 的 文章 
被 性 用 的 次 数 更 多 ,而 且 参 考 文献 的 平均 引用 次 数 . 引 
广 晤 数 和 参考 文献 的 上 指数 相关 po 。 在 衡量 参考 文 
献 的 质量 方面 , 林 德 明 等 "”] 通过 参考 文献 篇 均 被 引 频 
次 和 参考 文献 的 所 在 期 刊 的 篇 均 影响 因子 对 其 进行 测 
度 。 参 考 文献 的 引用 半衰期 与 被 引 频 次 呈现 显著 负 相 
关 , 即 参考 文献 的 新 度 与 文章 被 引 频次 相关 

因此 ,结合 知识 生产 下 的 科研 知识 基础 这 一 要 素 ， 
本 文 将 该 要 素 下 论文 质量 自动 评审 的 指标 划分 为 参考 
文献 数量 参考 文献 被 引 频次 ,参考 文献 所 在 期 刊 质量 
参考 文献 新 度 。 详 细 指标 及 参考 量化 方法 如 表 2 所 示 : 

表 2 科研 知识 基础 要 素 下 论文 质量 
自动 评审 指标 及 量化 方法 

论文 质量 自动 评审 指标 


辅助 实现 指标 量化 的 方式 /技术 方法 参考 


参考 文献 数量 参考 文献 总 数 
参考 文献 被 引 频 次 参考 文献 总 被 引 频 次 
参考 文献 所 在 期 刊 质量 参考 文献 所 在 期 刊 影响 因子 总 和 
参考 文献 新 度 参考 文献 引用 半衰期 


RN 过 专家 评议 ,说 明 该 课题 研 
究 的 价值 ;基金 项 目 资助 的 项 目 成 果 有 具备 一 定 的 财 
力 支撑 ,财力 资源 可 用 于 科学 论文 的 知识 生产 过 程 ;@ 
在 财力 资源 的 支撑 下 ,有 利于 科学 研究 所 需 设备 、 基 础 
设施 .相关 条 件 的 提升 。 因 此 ,应 该 对 论文 稿件 的 科研 


资源 条 件 , 即 资金 项 目 支 持 情 况 进 行 分 析 。 
张 秀 华 等 ” 指出 ,项目 资 助 资金 对 现代 知识 生产 


机 制 的 影响 越 来 越 大 ,在 学 界 被 认为 级 别 比 较 高 的 基 
金 有 国家 自然 科学 基金 (NSFC) 、 国 家 社会 科学 基金 、 
“863 "项 目 资 金 等 ,已 成 为 衡量 一 个 学 校 或 者 学 术 研 究 
团体 科研 能 力 的 重要 评价 指标 。 张 诗 乐 等 ”根据 国 
家 自然 科学 资金 资助 项 目 和 SCI 论文 的 数据 统计 ,说 
明 我 国 NSFC 支持 下 的 SCI 论文 整体 学 术 水 平和 科研 
影响 力 相 对 较 高 。 

因此 ， ss 
本 文 将 该 要 素 下 论文 质量 自动 评审 的 指标 划分 为 是 


有 资金 硕 目 支持 和 资 人 项 目 支持 级 别 。 详 细 肯 枯 及 和 
考量 化 方法 如 表 3 所 示 : 
表 3 ”科研 资源 条 件 要 素 下 论文 质量 
自动 评审 指标 及 量化 方法 
论文 质量 自动 评审 指标 辅助 实现 指标 量化 的 方式 /技术 方法 参 


re 


有 无 资金 项 目 支 持 ,可 设 为 二 分 类 变量 
资金 项 目 支 持 级 别 按照 国家 级 省 级 ,市 级 、 校 级 划分 赋值 


2.2.4 科研 成 果 本 身 一 篇 完整 的 学 术 论文 包括 题 
目 \ 作 者 \ 摘 要 、 关 键 词 . 正 文 .参考 文献 等 众多 知识 单 
元 组 成 结构 。 论 文 作为 知识 生产 和 创新 的 成 果 , 要 通 
过 知识 安排 ,知识 编辑 和 整理 各 种 信息 来 源 完成 知识 
内 化 ,使 内 部 知识 有 序 化 ,因此 学 术 论 文本 身 的 质 
量 至 关 重 要 ,其 必须 具有 科学 性 、 紧 密 性 和 逻辑 性 。 

有 学 者 基于 国内 核心 期 刊 论文 评审 表 选 用 的 评议 
指标 进行 了 统计 分 析 , 认 为 在 论文 评审 中 应 注重 对 选 
题 \ 创 新 性 、 科 学 性 、 写 作 水 平 以 及 研究 价值 的 评 
价 ”” 。 闻 浩 等 ”认为 ,科技 论文 的 评审 应 从 内 容 质量 
和 形式 质量 两 个 部 分 进行 。 其 中 内 容 质量 审定 主要 从 
科学 性 、 创 新 性 和 知识 性 等 方面 开展 ,形式 质量 审定 要 
通过 结构 架构 \ 行 文 格式 和 表述 形式 等 方面 开展 。 钟 
灿 涛 等 ”借鉴 国际 标准 化 组 织 的 质量 概念 定义 ,认为 
应 从 学 术 论 文 内 容 和 表达 形式 (可 读 性 ) 满足 学 术 交 
流 、 知 识 积累 以 及 其 他 相关 方 要 求 程度 的 方面 进行 评 
价 。 学 术 论 文 应 具有 创新 性 、 准 确 性 ,而 且 应 做 到 格式 
标准 、 表 达 准 确 。 其 中 ,创新 性 应 做 到 选 题 新 颖 、 研 究 


是 否 有 资金 项 目 支 持 
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方法 新 颖 ,具有 一 定 前 脆性 ;准确 性 应 做 到 数据 准确 无 
误 .逻辑 性 强 、 层 次 清晰 .论据 充分 ;格式 标准 应 做 到 论 
文 撰写 符合 国家 规范 或 标准 ,术语 准确 .图 表 清 晰 ; 表 
达 准 确 应 做 到 学 术 水 平 高 并 且 表述 流畅 ” 。 同 时 , 笔 
者 查阅 了 全 国 优秀 博士 学 位 论文 评选 标准 以 及 高 等 学 
校 科 学 研究 优秀 成 果 奖 (人 文 社会 科学 ) 的 评定 办 
法 3 ,二 者 均 对 研究 成 果 创新 性 和 选 题 前 沿 性 进行 
了 明确 规定 。 

因此 ,科研 成 果 本 身 应 作为 学 术 论文 质量 自动 评 
审 指标 中 重点 考查 要 素 , 笔 者 结合 各 研究 结论 以 及 全 
国 优秀 博士 论文 等 评价 标准 ,从 论文 选 题 .创新 性 、 科 
学 性 ,表达 形式 4 个 方面 提出 评价 指标 ,具体 设 定 如 
下 : 

本 (1 ) 论 文选 题 。 论 文选 题 通常 是 指 论文 主题 所 论 
述 长 研究 的 主要 内 容 ,主题 应 具有 新 颖 度 与 热度 ,这 是 
学 术 论文 质量 的 因素 之 一 。 主 题 新 颖 是 学 术 创新 
最 本 质 的 特征 之 一 , 是 指 选 题 主题 的 研究 方向 为 
学 秋 前 沿 ,具有 开创 性 。 主 题 新 颖 度 是 可 以 量化 测算 
的 y 如 杨 建 林 等 ”利用 KPTIDF 方法 对 主题 新 颖 度 进 
,有 未 万 辉 等 ”基于 Doc2Vec 和 HMM 算法 测度 
党 四 成 果 的 主题 新 颖 度 ; 主题 热度 体现 当前 科学 前 沿 
示 题 时 效 性 高 ,如 冯 佳 等 "利用 LDA 主题 模型 抽取 科 
学 误 沿 研究 主题 ， 
(2) 论 文 创新 性 。 论 文 创新 性 主要 在 于 新 论点 和 
者 浴 据 ,新 论点 包括 新 理论 .新 方法 .新 对 策 和 新 学 科 ， 
新 论据 包括 新 数据 和 新 事实 ?3 。 学 术 论文 成 果 应 该 
在 理论 .技术 或 研究 方法 等 微观 方面 体现 出 一 定 的 创 
新 全 。 对 于 创新 性 的 测度 ,可 以 基于 知识 元 理论 ,利用 
知识 元 抽取 技术 抽取 论文 文本 中 的 理论 ,技术 ,方法 知 
识 元 ,分 别 构建 理论 知识 库 技术 知识 库 方法 知识 库 ， 
通过 知识 元 标注 、 知 识 元 链接 、 知 识 元 集成 等 相关 技 
术 , 将 评审 论文 中 的 知识 元 与 知识 库 进行 关联 、 对 比 和 
计算 ,实现 理论 技术、 方法 创新 性 的 自动 评审 过 
程 喇 。 

(3 ) 论 文科 学 性 。 学 术 论 文 应 具有 科学 性 ,具体 
体现 在 其 技术 水 平 、 研 究 方法 .实验 设计 、 数 据 处 理 等 
方面 。 在 技术 水 平 测度 方面 ,可 以 借鉴 技术 进化 树 概 
念 ,依照 时 间 轨 迹 , 探 究 技术 演化 路 径 。 另 外 ,同样 借 
鉴 论 文 创 新 性 研究 的 知识 元 理论 ,可 以 构建 研究 方法 、 
实验 设计 .数据 处 理 知识 库 , 比 如 通过 数据 处 理 方法 与 
数据 处 理 规则 的 映射 ,对 其 数据 处 理 的 科学 性 进行 自 
动 判断 。 

(4) 论 文 表达 形式 。 学 术 论 文 的 表述 应 做 到 清晰 
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明了 。 主 要 包括 摘要 长 度 、 关 键 词 数 \ 标 题 长 度 、 篇 幅 、 
中 英文 摘要 可 读 性 、 图 表 清 晰 度 。 其 中 中 英文 摘要 文 
字 的 可 读 性 ,可 利用 中 文 Flesch 易 读 度 和 英文 可 读 性 系 
数 , 如 Kincaid 、ARI Flesch score .Fog index 等 进行 自动 评 
判 ” ;图 表 清 晰 度 可 利用 图 像 识 别 技术 进行 判定 。 

此 处 指标 的 处 理 需 要 应 用 大 量 自动 处 理 算 法 及 技 
术 ,详细 指标 及 参考 量化 方法 如 表 4 所 示 : 

表 4 科研 成 果 本 身 要 素 下 论文 质量 
自动 评审 指标 及 量化 方法 

论文 质量 自动 评审 指标 辅助 实现 指标 量化 的 方式 /技术 方法 参考 


论文 选 题 新 颖 度 文本 主题 新 颖 度 测 度 方法 ,如 KPTIDF 等 
论文 选 题 热 度 文本 主题 热度 测度 方法 ,如 LDA 等 


论文 理论 创新 性 基于 知识 元 理论 ,利用 大 量 论文 数据 构建 理论 知识 
论文 技术 创新 性 。” 库 技术 知识 库 \ 方 法 知识 库 ,通过 抽取 ,标注 、 关 联 、 
论文 研究 方法 创新 性 计算 等 处 理 过 程 进行 赋值 
论文 技术 水 平 科学 性 技术 进化 树 
论文 研究 方法 科学 性 ”基于 知识 元 理论 ,利用 大 量 论文 数据 构建 方法 知识 


论文 实验 设计 科学 性 ” 库 .实验 设计 知识 库 ,数据 处 理 知识 库 ,通过 抽取 、 
论文 数据 处 理科 学 性 标注 计算 、 映 射 等 处 理 过 程 进行 赋值 
论文 摘要 长 度 摘要 字符 数 
论文 关键 词 数 关键 词 数 
论文 标题 长 度 标题 字符 数 
论文 篇 幅 正文 字符 数 
论文 中 英文 摘要 可 读 性 英文 可 读 性 系数 .中 文 Flesch 易 读 度 等 
论文 图 表 清 晰 度 图 像 识别 技术 等 


因此 ,基于 上 述 2.2.1 -2.2.4 节 的 分 析 , 建 立 学 
术 论文 质量 自动 评审 指标 体系 , 见 图 2。 


3 ”学 术 论 文 质量 自动 评审 指标 权重 分 析 
目前 ,多 因素 综合 评价 指标 权重 确定 的 方法 包括 
主观 赋 权 法 与 客观 赋 权 法 , 本文 应 用 客观 赋 权 法 中 的 
主 成 分 分 析 方法 确定 多 指标 权重 。 该 方法 通过 线性 变 
换 , 用 较 少 指标 表达 大 部 分 信息 量 , 在 无 需 指标 样本 数 
据 的 情况 下 利用 主 成 分 分 析 方 法 基本 原理 ,建立 权重 
模型 ,从 理论 证 明 到 实际 数据 应 用 具有 可 行 性 有 效 性 


和 通用 性 。 
3.1 计算 步骤 

(1) 确定 指标 因素 后 ,由 具有 相关 领域 知识 的 专 
家 对 各 个 指标 进行 评分 。 评 价 等 级 分 为 543 .2 1, 即 
非常 重要 .比较 重要 一般 重要 ,不 太 重 要 和 不 重要 , 通 
过 五 级 量 表 对 各 指标 因素 的 重要 程度 进行 评分 。 

(2) 主 成 分 分 析 通 常 是 将 原来 的 指标 通过 线性 组 
合 重新 组 成 彼此 无 关 的 综合 指标 , 即 主 成 分 线性 组 合 
模型 。 表 达 式 如 公式 (1) 所 示 : 


祝 琳 琳 ， 杜 查 叶 ， 李 贺 . 知识 生产 视角 下 学 术 论 文 质量 自动 评审 指标 体系 构建 研究 [可 . 图 书 情 #GDI 克 全: 


) 
86. 
pr re | [1 加 | i 
| 者 | | 作 | 1 文 |1 1 | | | | 文 | | 论 | 1 
! 国 圾 | 人 作伪 || 才 |， 1 这 芭 ! 到 | 重度 | 下 | 商 |! 
1 学 | | 群 | | 者 | | 老 | | 来 | | 家 | | 学 1 | 交 这 |1 1| 列 | | 美 | 县 | | 六 | | 文 | | 素 |! 
| | 研 | | 吉 | | 数 | | 源 | | 二 | | 半 |1 其 短 | ! | 要 | 铭 | | 是 | | 得 | | 镜 | | 癌 |! 
1 素 | 和 | 各 | | 竖 | 流 | 记 | 加 | 数 枝 |1 1| 攻 | | 加 | 长 | | 号 | | 要 | 得 
养 | | 力 构 | | 区 | 量 ， 度 度 可 | | 启 |1 
| 人 | 性 入 | 
al -~ 
' 作者 | | 参考 文献 | 奖项 目 | 【党 攻 | | 人 性 | |。 利 学 性 1 | 
图 2 学术 论文 质量 自动 评审 指标 体系 
DD F, = Ul XI 十 U2l Xs 十 "… 十 Unhl XI 评审 经 历 和 投稿 经 历 ,对 28 个 指标 因素 相对 于 学 术 论 
> Fy = ux + ty Ky + + to 文稿 件 质量 自动 评审 影响 的 重要 程度 进行 评分 。 该 问 
(1) 卷发 放 时 间 为 2018 年 5 月 9 日 至 2018 年 5 月 17 日 ， 
< 十 上 ， = Un XI + Un XxX + + Un XI 共 收 集 问 卷 209 份 , 删 除 填写 时 间 过 短 或 过 长 的 问卷 ， 
= 和 2】 。 并 得 到 有 效 问 郑 180 份 。 本 问卷 调 查 范 围 涉及 多 个 地 
CO 人 (2?) 区, 分布 情况 见 图 3。 由 于 被 调查 者 可 能 兼 具 高 校 孝 


@ 其 中 ,为 评价 指标 的 个 数 ,x 为 评价 指标 ,该 部 分 
二 过 spss 软件 的 主 成 分 分 析 得 出 ,在 公式 (1) 中 ， 
FEB,,…,F, 是 m 个 主 成 分 ;u; 是 决策 矩阵 系数 ,需要 
线 济 公式 (2) 中 的 计算 方法 ,利用 软件 得 出 的 初始 因 
子 族 荷 f, 和 特征 根 , 进行 转化 。 

><(3) 对 指标 在 m 个 主 成 分 线性 组 合 中 的 决策 矩阵 
系 峰 。 做 加权 平 均 , 计 算 各 指标 权重 ,如 公式 (3) 所 
未: 戈 中, 为 各 主 威 分 方差 页 献 率 。 

O， _ Vituyg V+ tu V, 
i 


,1=1,2,.…,h 


式 (3) 
(4) 若 生成 负 权 数 ,可 将 。 通过 公式 (4) 和 公式 
(5) 中 的 取 值 规则 转化 成 w,', 即 通过 平移 使 之 归结 
为 结构 相对 数 ,然后 将 w,' 归 一 化 ;车 未 生成 负 权 
数 , 则 直接 将 w; 归 一 化 。 
,kk+o; 
和 


式 (4) 
k > max| w,| 


max 式 (G) 
因此 ,根据 步骤 (1) - (4), 即 可 通过 主 成 分 分 析 
方法 得 出 各 指标 的 权重 W = (oos，…oh)。 
3.2 ”实证 研究 结果 
3.2.1 描述 性 统计 结果 ”本 文通 过 问卷 调查 的 方式 ， 
主要 对 图 书 情报 与 档案 管理 专业 学 者 和 该 专业 期 刊 编 
辑 部 工作 人 员 进 行 调查 。 被 调查 者 根据 自身 学 术 论文 


师 和 编辑 部 主编 等 多 重 身份 ,各 身份 数量 之 和 大 于 有 
效 问卷 数目 ,详细 身份 分 布 见 图 4 。 
3.2.2 ”权重 确定 结果 ”本文 结合 SPSS 和 EXCEL 软 
件 ,对 数据 进行 处 理 。 在 计算 权重 之 前 ,需要 对 数据 的 
信和 度 和 效 度 进行 检验 ,该 问卷 全 部 指标 题 项 的 Cron- 
bach a 系数 为 0.883 ,说 明 问 卷 的 整体 信和 度 较 高 。 在 对 
各 个 维度 的 分 量 表 进 行 信和 度 检验 时 ,剔除 了 校正 的 项 
总 计 相 关 性 (CITC) 低 于 0.5 而 且 项 已 删除 的 Cronbach 
Qa 系数 高 于 各 维度 分 量 Cronbach wa 系数 的 指标 ,包括 
“作者 学 术 素 养 "“ 作 者 科研 能 力 ”“ 作 者 声誉 "“ 作 者 
数量 “论文 图 表 清 晰 度 ”5 项 指标 ,各 维度 分 量 Cron- 
bach a 系数 均 高 于 0.7。 另 外 ,通过 KMO 和 Bartlett 的 
检验 ,KMO 值 为 0.802 ,显著 性 为 0.000 ,说明 量 表 具 有 
良好 的 建构 效 度 。 

根据 特征 值 大 于 1 的 原则 ,确定 主 成 分 个 数 为 6， 
抽取 出 的 6 个 主 成 分 代 蔡 原 有 的 多 个 指标 。 前 6 个 
特征 根 的 可 解释 总 体 方差 为 69.935% , 详 见 表 5 解释 
总 方差 。 根据 3.1 节 介 绍 的 计算 步骤 ,结合 成 分 矩阵 、 
特征 值 与 方差 贡献 率 数据 ,计算 出 本 文 各 指标 因素 权 
重 , 见 表 6, 其 中 加 粗 数 值 代表 该 权重 值 大 于 平均 权重 
值 0.0435(1/23)。 
3.3 结果 分 析 与 讨论 

(1) 结 果 显 示 ,学 术 论 文科 学 性 的 4 项 指标 与 学 术 
论文 创新 性 的 3 项 指标 权重 值 均 位 于 前 列 ， 尤 其 是 研 


| 
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[ee 3 被 调查 者 来 源 地 区 分 布 情况 
3 = 博士 在 读 学 生 ;11; 6% 
©O 3 ， 大 学 教授 ;68; 35% 
二 。 大 学 教授 
。 大 学 副教授 
CO :编辑 部 ( 副 ) 主任 ; 13; 74 
Pa 。 大 学 讲师 
© 编辑 部 ( 副 ) 主编 
CN ,编辑 部 执行 主编 ; 6; 3% | i 。 编辑 部 执行 主编 
加 “ 国 a 编辑 部 ( 副 ) 主任 
之 = 编辑 部 编辑 
Se 编辑 部 ( 副 ) 主编 ; 19; 10% 博士 在 读 学 生 
人 
全 -大 学 讲师 ; 9; 5% 
aa 。 大 学 副教授 ;43; 229% 
© i 
图 4 被 调查 者 身份 分 布 
表 5 解释 总 方差 表 6 各 指标 因素 权重 值 
成 份 初始 特征 值 序号 指标 权重 i 序号 指标 权重 
人 2 人 1 论文 实验 设计 科学 性 ”0.057 || 12 。 论文 关键 词 歼 。 0.042 
站 2 2 2 。 论文 数据 处 理科 学 性 ”0.057 |‖ 13 论文 篇 幅 0.042 
2 3.886 16. 897 44.046 
3 ”论文 研究 方法 科学 性 ”0.056 | 14 论文 标题 长 度 。 ”0.040 
3 1.953 8.490 52.536 
J ee eb 4 ”论文 技术 水 平 科 学 性 ”0.056 | 15 ”作者 跨国 家 地 区 合作 ”0.040 
3 243 本 364 3 论文 技术 创新 性 0.049 || 16 参考 文献 被 引 频次 ”0.039 
J i 0 6 ”论文 研究 方法 创新 性 ”0.049 | 17 参考 文献 数量 0.038 
7 ”论文 中 英文 摘要 可 读 性 0.049 || 18 作者 来 源 机 构 0.037 
究 方法 .数据 处 理 .实验 设计 等 的 科学 性 权重 更 是 达到 8 ”参考 文献 所 在 期 刊 质量 “0.045 | 19 ”作者 跨 学 科 合作 0.037 
0.057 和 0. 056 ,可 见 论文 本 身 知 识 结构 的 科学 性 与 创 9 论文 摘要 长 度 0.045 | 20 ”论文 选 题 新 颖 度 。 0.036 
新 性 对 于 其 质量 自动 评审 有 着 非常 重要 的 作用 。 10 论文 理论 创新 性 ”0.044 | 21 是否 有 资金 项 目 支 持 0.035 
(2 ) 结 果 中 关于 摘要 可 读 性 和 长 度 的 指标 权重 达 参考 文献 新 度 0.044 | 22 资金 项 目 支持 级 别 0.034 
到 了 0.049 和 0.045 ,可 见 学 术 论 文 的 表达 形式 同样 是 缀 论文 选 题 热度 。 0.029 
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V 会 作 其 于 


5 站 


重要 的 自动 评审 因素 。 摘 要 是 对 文章 的 凝练 ,因此 无 

论 在 论文 质量 评审 还 是 在 读者 阅读 文献 的 过 程 中 , 摘 

要 都 是 论文 的 重要 组 成 部 分 ,应 该 做 到 表述 精准 、 说 明 

详尽 .概括 简练 ,使 广大 读者 能 够 准确 了 解 其 中 的 思想 

内 涵 。 男 外 ,一 些 看 似 与 论文 内 容 无 关 的 因素 ,如 关键 

词 数 篇幅、 标题 的 权重 值 均 达 到 0.04 以 上 ,也 应 该 在 
论文 质量 自动 评审 中 得 到 一 定 的 重视 。 

(3 ) 结 果 显 示 , 参 考 文献 所 在 期 刊 质 量 、 参 考 文献 
新 度 指 标的 权重 值 达到 0.045 和 0. 044 ,而 参考 文献 被 
引 频 次 和 数量 的 权重 则 相对 较 低 。 结 果 说 明 ,在 科研 
知识 基础 维度 ,评审 中 更 加 关注 参考 文献 的 “ 质 ”, 而 
不 是 “ 量 ” ,论文 参考 文献 所 在 期 刊 质量 和 新 度 对 于 其 
ee 


梧 


文 作者 方面 的 指标 权重 略 

本 人文 的 和 市 队 ,可 以 对 作者 信 息 过 和 定 的 

: 生 ,但 并 不 是 主要 的 评审 要 

= 选 题 方面 和 资金 项 目 支持 方面 ， 


ep ni ea 
bE 选 题 新 度 热度 与 资金 项 目 支持 并 不 是 十 分 关注 ， 
主题 的 新 颖 度 并 不 是 决定 学 术 质 量 的 绝对 因 
。 因 此 ,在 论文 的 自动 评审 中 虽然 需要 对 二 者 进 
os 
宗 上 所 述 , 每 一 个 指标 均 在 不 同 程度 上 对 学 术 论 
2 质量 自动 评审 存在 着 一 定 的 影响 。 但 是 ,其 中 几 个 
权 案值 较 高 的 因素 是 影响 学 术 论文 质量 自动 评审 的 关 
键 因素 , 且 大 多 集中 在 科研 成 果 本 身 这 一 内 部 结构 上 ， 
分 别 为 科学 性 (论文 实验 设计 科学 性 、 数 据 处 理科 学 
性 、 研 究 方法 科学 性 技术 水 平 科学 性 ) .创新 性 (论文 
技术 创新 性 研究 方法 创新 性 、 理 论 创新 性 ) .表达 形式 
(论文 中 英文 摘要 可 读 性 、 摘 要 长 度 ) 和 参考 文献 (所 
在 期 刊 质量 .参考 文献 新 度 ) 。 


4 结语 


本 文 基于 知识 生产 视角 ,结合 科学 知识 生产 要 素 ， 
通过 文献 调研 与 梳理 ,从 科研 主体 及 其 生产 关系 、 科 研 
知识 基础 科研 资源 条 件 和 科研 成 果 本 身 4 个 维度 出 
发 ,分 别 从 论文 作者 .参考 文献 .资金 项 目 支持 、 选 题 、 
创新 性 、 科 学 性 、 表 达 形 式 7 个 角度 ,构建 学 术 论文 质 
量 自动 评审 指标 体系 。 本 文 一 方面 对 各 个 因素 指标 项 
的 具体 量化 方法 和 技术 进行 了 简要 说 明 ; 另 一 方面 , 通 
过 问卷 调查 获取 专家 数据 ,运用 主 成 分 分 析 方 法 确定 
各 项 质量 自动 评审 指标 项 的 权重 ,并 根据 权重 值 对 各 


Ee 


因素 指标 项 进行 排序 。 
本 文 调查 的 专家 专业 多 为 图 书 情报 领域 ,可 能 在 
学 科 方 面 存在 一 定局 限 性 。 在 后 续 研究 中 ,将 在 各 项 
自动 评审 指标 项 权重 的 基础 上 ,通过 各 种 技术 手段 ,对 
各 项 指标 进行 实际 量化 和 计算 ,进一步 实现 学 术 论 文 
自动 评审 过 程 。 
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Abstract: [Purpose/significance ] The automatic review of the quality of unpublished academic papers has not yet 


formed a unified index system, so this article explores and establishes a set of leading, scientific and objective index sys- 


tem for automatic review to improve the efficiency. | Method/process | From the perspective of knowledge production, 


combined with the factors of scientific knowledge production, the index system of academic paper quality for automatic re- 


view whose quantitative methods and techniques are briefly introduced ，is constructed from seven aspects of author, refer- 


ence, fund project support selection of topics, innovation, scientificity and expression form. The principal component a- 


nalysis method is used to determine the weight and the ranking of various automatic review indexes. [ Result/conclusion | 


The results show that the weight value of the scientificity and innovation of a paper are high. The readability, length of the 


abstract and the quality and newness of the journal in which the references are published are also important factors. The 


results can provide references for the quantitative treatment of the follow -up automatic review indexes. 
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